Smith ký hợp đồng chuyên nghiệp đầu tiên với Leeds United ngày 1 tháng 10 năm 1997. Cũng năm đó, anh góp mặt trong thành phần thi đấu ở đội một (số áo 39 rồi 17) và ghi bàn thắng đầu tiên vào lưới Liverpool năm 1998. Năm 1999, Smith gia hạn hợp đồng với sân Elland Road và ở lại đây thêm một năm nữa. Và khi Leeds xuống hạng mùa bóng 2003-2004, Smith quyết định chuyển tới Manchester United (số áo 14) theo bản hợp đồng 5 năm, tổng trị giá hợp đồng 7 triệu bảng Anh, mức lương 3,4 triệu bảng/năm (ký ngày 27 tháng 5 năm 2004). Tại đây, anh đã có những đóng góp cho đội bóng từ vị trí tiền đạo và tiền vệ trụ, giành được sự tin tưởng của Sir Alex Ferguson cũng như sự hâm mộ của đông đảo cổ động viên.

Smith bắt đầu sự nghiệp tại câu lạc bộ quê hương anh Leeds United. Anh đã định hướng làm tất cả những gì có thể để quyết tâm đạt được thành công trong cuộc đời cầu thủ. Smith ghi bàn thắng ngay trong trận ra mắt trước Liverpool ngay trên sân Anfield - lúc đó anh mới 18 tuổi. Một sự khởi đầu tuyệt vời cho sự nghiệp cầu thủ của Smith.

Hai bàn thắng đầu tiên Smith ghi cho Manchester United là hai bàn thắng tuyệt đẹp và nó khởi đầu hứa hẹn cho sự nghiệp của Smith tại đội bóng chủ sân Old Trafford - Một pha dứt điểm mạnh mẽ trong trận tranh Community Shield trước Arsenal và một pha volley siêu đẳng trong trận đấu gặp Norwich tại Premiership - tất cả những điều đó giúp anh giành được niềm tin của các cổ động viên của "quỷ đỏ" và anh bắt đầu trở thành một thần tượng của họ bằng việc ghi được 10 bàn trong mùa bóng đầu tiên tại Old Trafford. Sự quyết tâm cao độ mà anh đã thể hiện đã khiến ngài Alex Ferguson ngưỡng mộ và coi anh như một Roy Keane mới, một Bryan Robson hay rất nhiều huyền thoại khác của sân Old Trafford. Ở năm cuối anh chơi cho đội chủ sân Old Trafford, Alex Ferguson đã sắp xếp anh chơi vị trí tiền vệ phòng ngự và anh có khả năng tắc bóng rất tốt nhưng ông không hài lòng và đã bán anh đi vào năm 2007. Ở cấp độ đội tuyển Smith có trận đấu ra mắt đội tuyển Anh vào ngày 25 tháng 10 năm 2001 trong trận thắng 4-0 trước Mexico. Bàn thắng đầu tiên của Smith cho đội tuyển Anh là trong trận hòa 1-1 trước đội tuyển Bồ Đào Nha vào tháng 9 năm 2002.